Năm Vũ Bình thứ 7 (576), tháng 10, Bắc Chu Vũ Đế mang quân đánh Bắc Tề. Cao Vĩ và Phùng Tiểu Liên mải vui chơi đàn hát, không quan tâm tới mặt trận.

Ban đầu, quân báo tin đến thì gặp Cao Vĩ và Tiểu Liên đang đi săn, Hữu Thừa tướng Cao A Năng Quang (高阿那肱) gạt đi nói:"Hoàng thượng đang có hứng thú, chút tin nhỏ nhặt ở biên thùy làm sao đáng bận tâm?". Đến chạng vạng, quân lính về báo ngày càng nhiều, Cao Vĩ biết được muốn đưa quân cứu viện, nhưng Phùng Tiểu Liên vẫn mải chơi không muốn dừng, yêu cầu Cao Vĩ tiếp tục chuyến đi săn, Cao Vĩ vì chiều lòng người đẹp mà đồng ý[2][3].

Tháng 11, Cao Vĩ đến Tấn Châu, thành trì này đã bị chiếm đóng. Vì thế, Cao Vĩ bèn sai lính đào một mật đạo, tính dùng lối đó tiến công vào tòa thành. Nhưng khi sắp đào xong, Cao Vĩ cho người gọi Phùng Tiểu Liên đến, muốn người đẹp nhìn thấy cảnh tượng mình công phá thành trì làm vui. Nhưng Phùng Tiểu Liên khi ấy mải chải chuốt trang điểm, không thể nhanh mà đến, nên thời cơ của quân Tề bị lỡ, quân Chu phản công được cho lấp lại chặn cuộc công thành[4]. Đến nỗi dân gian lưu truyền, thành Tây của Tấn Châu còn lưu lại di tích Phan Thục phi đến xem công thành[5].

Trong thời gian đó, Cao Vĩ lấy Phùng Tiểu Liên có huân công, phong làm Tả Hoàng hậu (左皇后), đặt ngự áo, liễn kiệu đều như chính cung mà làm. Khi nội giám mang áo đến, Cao Vĩ đem cho Tiểu Liên mặc vào, rồi tiếp tục đến Nghiệp Thành[6][7]. Trên đường đi, Phùng Tiểu Liên vẫn còn mải trang điểm chải chuốc, Cao Vĩ nhớ đến phục sức Hoàng hậu mà mình chuẩn bị cho bà, liền phái Thái giám quay lại Tấn Dương để lấy về. Sau đó, Cao Vĩ đưa y phục tốt cho Tiểu Liên khoác vào, ghì dây cương cùng bà chậm rãi đi trước[8]. Tháng 12, Cao Vĩ và Phùng Tiểu Liên đến Nghiệp Thành. Sau đó, mẹ của Cao Vĩ là Hồ Thái hậu cũng đến, ban đầu ông không tính ra đón mẹ, nhưng do Phùng Tiểu Liên khuyên mà cuối cùng trịnh trọng bày trận nghênh đón ở ngoài cổng thành[9].

Anh họ Cao Vĩ là An Đức vương Cao Diên Tông lên ngôi khi Cao Vĩ bỏ chạy khỏi Tấn Dương. Tuy nhiên, Cao Diên Tông gần như bị quân Bắc Chu đánh bại ngay lập tức và bị bắt. Tại Nghiệp Thành tạm ổn một thời gian, Cao Vĩ vội vàng nhường ngôi cho con trai là Cao Hằng - lúc bấy giờ mới 7 tuổi rồi nhanh chóng cùng Phùng Tiểu Liên chạy trốn, hướng đến Thanh Châu, song bị tướng Uất Trì Cần (尉遲勤) của Bắc Chu bắt được và giải về Nghiệp Thành để trình Bắc Chu Vũ Đế. Cao Vĩ và Phùng Tiểu Liên trở thành tù nhân của Bắc Chu, bị áp giải tới Trường An. Bắc Tề diệt vong[10][11].

Khi bị áp giải đến Trường An, việc đầu tiên mà Cao Vĩ xin Vũ Văn Ung chính là trao trả lại Phùng Tiểu Liên về bên mình. Cuối cùng Vũ Văn Ung cũng đáp ứng yêu cầu này[12].